一、产品定位与核心亮点 技术定义 腾讯云CFS Turbo是一款面向人工智能时代的关键数据枢纽,通过融合极速缓存、智能元数据检索与多源存储统管技术,旨在解决AI场景下训练/推理性能不足、百PB级数据成本高 三、应用框架和功能介绍 功能框架 CFS Turbo采用分层架构,核心模块包括: 极速本地缓存模块:含Turbo内核态并行客户端、Turbo极速本地缓存池(NVMe盘),对接GPU云服务器/HCC集群及业务应用 智能多源存储管理能力:多云数据统一管理、全局统一命名空间,加速IDC与多云数据流动(数据来源:原文); 架构兼容性:支持S3、POSIX协议,对接并行文件存储、对象存储(数据来源:原文); 内核态优化:采用Turbo 总结 腾讯云CFS Turbo作为人工智能时代关键数据枢纽,通过极速缓存、智能元数据检索、智能生命周期管理及多源存储统管四大核心能力,以2TiB/s读写吞吐、60us低延迟、1000w文件/秒检索、80%
一、 产品定位与核心亮点 腾讯云 CFS Turbo 是一款面向人工智能(AI)及高性能计算(HPC)场景的并行文件存储服务。 三、 应用框架和功能介绍 功能框架 CFS Turbo 的架构由 Turbo 内核态并行客户端、极速本地缓存池和中心的 AI 存储平台构成。 客户端通过缓存池访问本地 NVMe 硬盘获得极致性能,同时所有数据在后台由 CFS Turbo AI 存储平台进行统一管理,形成 全局统一命名空间。 硬核指标 单客户端性能:延迟 ≤60μs,IOPS 达 300万,吞吐 50GB/s(据腾讯云官方材料)。 聚合读写吞吐:2 TiB/s(据腾讯云官方材料)。 元数据检索性能:1秒内可完成 1000万 文件检索(据腾讯云官方材料)。 数据协议支持:支持 POSIX 标准接口及 S3 对象协议,实现与对象存储互通。
数据来源:腾讯云 CFS Turbo 产品介绍材料 一、 产品定位与核心亮点 产品定位:腾讯云 CFS Turbo 是一款专为人工智能时代设计的关键数据枢纽存储平台。 二、产品应用场景 CFS Turbo 主要面向 AI 时代的算力集群与大规模数据处理场景。 核心痛点与适用场景: AI 训练/推理场景:解决算力集群(如 GPU 云服务器 / HCC 集群)对存储底层产生的极高 IOPS 与超低延迟要求,打破“算力等数据”的性能瓶颈。 功能框架 CFS Turbo AI 存储平台基于全局统一命名空间构建,其核心架构自下而上包含以下模块: 极速本地缓存池:位于靠近计算侧(GPU/HCC集群),通过 Turbo 内核态并行客户端直接调度底层
一、产品定位与核心亮点 腾讯云CFS Turbo是腾讯云推出的IaaS层AI存储产品,专为大模型、自动驾驶、高性能计算等高强度、大规模分析场景设计。 Turbo可与腾讯云GPU服务器、HCC高性能计算集群、TKE容器服务、TI-ONE训练平台等产品集成,提供整体AI解决方案。 Turbo提速比 系统盘 158.9 673% 自建NFS 485.1 153% CFS Turbo 1228.8 / 四、典型案例 智谱AI 背景:大模型训练需要高性能共享存储支持多GPU节点并行访问 解决方案:采用CFS Turbo作为统一模型存储平台 成效:实现模型文件快速加载和多节点高效共享 元象科技 背景:AI推理服务需要快速弹性扩缩容,模型加载速度成为瓶颈 解决方案:使用CFS Turbo 博世、蔚来、微众银行、招商银行等 背景:企业级AI应用需要高可靠、高安全存储方案 解决方案:采用CFS Turbo的备份审计和安全功能 成效:建立完善的数据安全保障体系 核心价值总结 腾讯云CFS Turbo
一、 产品定位与核心亮点 腾讯云推出的 CFS Turbo 是一款定位为下一代AI存储的 IaaS层产品。 商业差异化卖点: 产品深度打通了腾讯云GPU服务器、HCC高性能计算集群、TKE容器服务及TI-ONE训练平台。 功能框架 CFS Turbo 架构基于腾讯云底层云原生能力,对上无缝对接大模型业务的各个流转环节。 吞吐量/带宽表现: CFS Turbo 提速比达 1228.8 MiB/s。 解决方案: 引入腾讯云 CFS Turbo 方案,应用其并行客户端预读、POSIX/HDFS多协议融合零拷贝、共享访问及智能分层等核心模块,构建统一的AI存储底座。
全条带多MDS架构(上一代CFS Turbo): 目录开销大,无法支持海量目录;目录性能较差,且 无法动态横向扩容。 第二章:构建新一代元数据引擎与智能预读机制 针对大模型训练场景,CFS Turbo 采用了 新一代自适应条带化目录 技术与 智能预读策略 相结合的技术路径。 第三章:量化性能提升与业务指标 基于上述技术优化,CFS Turbo 在海量小文件和高并发场景下的核心业务指标显著提升: 关键指标 优化前表现 优化后表现 性能提升倍数 Readdir 性能 - - 提升 第五章:基于自研架构的技术确定性 选择腾讯CFS Turbo的核心逻辑在于其针对AI训练场景的底层架构重构能力: 彻底解决扩展性问题: 新一代自适应条带化目录技术,突破了传统MDS架构的 单点瓶颈 和 实战验证: 方案已在腾讯 混元DiT 等千亿级大模型训练场景中得到验证,具备处理 百亿级 目录与 亿级 文件的工程成熟度。
一、 产品定位与核心亮点 CFS Turbo 是腾讯云推出的 IaaS层「AI存储」产品,属于高性能并行文件存储。 商业差异化卖点: 生态整合:可与腾讯云GPU服务器、高性能计算集群HCC、容器服务TKE及TI-ONE训练平台深度结合,提供整体AI解决方案。 审计安全:支持将创建/删除等高危操作投递至腾讯云日志服务CLS。 备份恢复:基于快照的增量备份,支持业务无感知的数据跨AZ备份。 快速统计:解决传统du命令耗时数天的问题,实现秒级目录分析。 4. 解决方案:接入CFS Turbo存储方案。 成效:保障模型训练与推理的高效进行。 美团 背景:大规模业务场景下的数据处理与模型应用。 解决方案:部署CFS Turbo。 解决方案:采用CFS Turbo作为存储底座。 成效:实现数据的高效共享与管理。 大疆创新 背景:自动驾驶或高性能计算相关场景。 解决方案:使用CFS Turbo存储数据。
部署自适应条带化目录的元数据引擎 为解决上述瓶颈,腾讯云CFS Turbo推出了新一代元数据引擎Meta Turbo。 此设计使系统能够支持千万级文件的单目录,并实现元数据服务的动态横向扩容【来源:腾讯全球数字生态大会,杨飞】。 显著提升目录列表与数据读取效率 通过引入智能预读策略,CFS Turbo有效优化了海量文件场景下的数据访问流程。该策略包含批量I/O、预读以及并行状态预取(stateahead)等技术。 CFS Turbo的智能预读策略在此类AI训练工作负载中,有效加速了数据准备阶段的文件遍历与访问速度,直接提升了训练数据管道的效率【来源:腾讯全球数字生态大会,杨飞;混元DiT GitHub仓库】。 腾讯CFS Turbo的技术领先性保障 腾讯云CFS Turbo的Meta Turbo引擎通过创新的自适应条带化架构,解决了业界在海量小文件存储上的普遍痛点。
1 背景说明TKE容器服务,提供了多种CSI扩展插件,无缝集成CFS、COS、CBS等腾讯云存储产品。 随着产品迭代升级,插件功能会逐步优化、隐藏的Bug也会及时收敛,这里简单描述下CFS CSI插件的升级步骤。其他容器服务CSI插件升级操作类似,仅供参考。 2 升级步骤(1)登陆腾讯云控制台-》容器服务: https://console.cloud.tencent.com/tke2 ,选择所在地域,对应集群:图片(2)进入组件管理,升级CFS-CSI 插件 (建议到最新版本):图片3 确认结果点击升级按钮,当前时间段,可用最新版本为1.0.8,执行升级,然后前端确认:图片CFS 插件已经升级到最新版本。
是因为SCF_QcsRole预设策略默认没有QcloudCFSFullAccess的权限,关联即可。
CFS 是可扩展的共享文件存储服务,可通过内网方式将CFS挂载到腾讯云服务器(CVM)中,目前可享受免费10G的存储,用来做网站备份还是可以的。 开通CFS 登录腾讯云后台 - 基础云产品 - 文件存储进行创建,或者直接访问https://console.cloud.tencent.com/cfs 新建一个文件系统,地域/可用区请选择和您腾讯云服务器所在区域 CentOS 7挂载CFS #安装nfs客户端 sudo yum -y install nfs-utils #创建挂载目录 mkdir -p /home/backup #挂载CFS sudo mount 总结 CFS目前处于测试阶段,如果你已经购买了腾讯云服务器可挂载CFS用来备份网站等数据,但是不建议将重要文件存放在COS中,以免出现风险。 之前还分享过《使用COS-Fuse工具将COS挂载到腾讯云服务器》有兴趣的可参考。
背景在云函数开发的过程中,我们难免碰到需要访问本地文件的需求(例如:为了通过ip地址获得城市名称,云函数需要检索近一百MB的ip地址库文件),由于云函数无状态的特性,自身并不与特定服务器和本地硬盘关联, 这时,挂载CFS文件系统是一个较佳的选择。下面以Node.js 12.16的云函数环境描述如何使用serverless.yml来配置CFS文件系统。 文件系统实例 id mountInsId: cfs-xxxxxxxx # 文件系统挂载点 id localMountDir: /mnt/ # 本地挂载点,云函数目录 remoteMountDir 中图片图片'use strict';const COS = require('cos-nodejs-sdk-v5')const APPID = '130*******' // 请替换为您使用的腾讯云APPIDconst 在云函数 SCF上使用 CFS: https://cloud.tencent.com/document/product/582/47148云函数tencent-multi-scf配置: https://
标题:腾讯云TDP-腾讯云云服务器CVM和腾讯云文件存储CFS功能展示 发布时间:2021年12月14日 简介: 通过使用CVM和CFS之间的配合 可以统一管理海量文件 同时依赖CFS的弹性性能特性 可以最高在腾讯云内网体验到 10Gbps的文件传输带宽 标签:云服务器CVM;文件存储CFS;命令行工具TCCLI ! image.png 5 再说两句 5.1 腾讯云TDP介绍 腾云先锋(TDP,Tencent Cloud Developer Pioneer)是腾讯云GTS官方组建并运营的技术开发者群体。 、大佬签名证书、更有机会参与腾讯云线下沙龙、发布会交流等等 我们期待这样的您: 使用过腾讯云或其他云产品及服务,对云或云服务有一定的了解; 问题或体验类需求敏感性高; 喜欢分享和讨论; 认同腾讯企业价值观 (创造、协作、进取、正直),愿意与腾讯云一起成长。
关注腾讯云大学,了解行业最新技术动态 戳【阅读原文】观看完整课程回顾 讲 师 介 绍 腾讯云高级产品经理,曾经历过企业级存储、企业级容器平台等产品的架构与开发,对容器、微服务、无服务器、DevOps 腾讯云高级产品经理,先后负责过对象存储、存储网关等多款存储产品,在存储领域有着丰富的经验。 文件存储 CFS + 云函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为云函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展云函数可以支持的使用场景。 文件存储 CFS 给云函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有云函数所实现的一些场景,也可以带来很多新的场景。 通过对接 CFS 文件存储与 SCF 云函数,为云函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题
CFS Turbo 等多产品全新升级,能够为企业在 AI 时代提供更安全、高效的数据基础服务。 腾讯云存储高级产品经理李沐霖进一步介绍了“腾讯云数据万象”平台的最新进展。 腾讯云存储高级产品经理杨飞介绍了腾讯云高性能并行文件存储 CFS Turbo 的最新能力。 CFS Turbo 主要用于解决千亿级训练样本的并发读取、TB 级 Checkpoint 读写和十万核级的影视渲染的数据访问难题。 元石科技通过和腾讯云存储的合作,采用了 COS 融合桶加速、GooseFS 和 CFS Turbo 高性能文件缓存加速、以及数据万象的处理和审核能力,让元石的自研大模型业务更高效、更快捷,也让基于其自研
其中,GooseFS 2.0为 AI 场景深度优化,提供 GBps 单链接性能,数据访问性能逼近硬件资源极限;文件存储 CFS Turbo 打通多云数据形成端到端的解决方案,提升 AI 场景运转效率;数据万象 CFS Turbo , 面向 AI 搭建全平台、全场景、平台级存储解决方案 为了更好支持 AI 场景(如大模型训练、自动驾驶)中,文件量级尤其是小文件总量快速攀升、数据源跨云多云分布的特点,腾讯云 CFS 在多云环境中,CFS Turbo 能够实现全局统一命名空间,让无状态的计算实例在多云环境中弹性扩缩;提供数据接管的能力,无缝接管多源存储,并支持增量同步。 此外,CFS Turbo 提供的数据分层管理能力,可以在业务无感情况下降本60%,千万级元数据检索能力效率提升100倍。 大模型能力加持,多款产品升级成云存储"智能工坊" 除了基础存储能力的升级外,腾讯云存储生态深度融合大模型技术,探索智能化升级,助力企业将海量数据转化为可交互的智能资产。
通过与云函数产品的对接,CFS 可以提供按需扩展的存储空间,并按实际的使用容量来付费,符合 Serverless架构的特性。 文件存储 CFS + 云函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为云函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展云函数可以支持的使用场景。 文件存储 CFS 给云函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有云函数所实现的一些场景,也可以带来很多新的场景。 image.png 在使用云函数进行对象存储文件上传触发的音视频转码场景中,CFS 的引入一样可以扩展音视频转码可以处理的文件大小。 通过对接 CFS 文件存储与 SCF 云函数,为云函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题
导语 在TCPS压测平台中,购买集群文件共享存储CFS,用于持久存储脚本、数据文件,购买CFS后需要获取CFS的ip地址,后续会用到。 购买CFS具体步骤 1. 在文件系统页面点击“创建”。 填写文件系统名称,选择CFS相应的地域和网络。点击下一步。 [qira8chqec.png] 4. 点击“立即购买”。 [x6pn2a222p.png] 5. 等待CFS创建状态为“可使用”,ip 那列就是 CFS 地址。 [n6r6tmctx9.png] 6. 若不需要使用CFS,则可以点击“删除”。注意,此时存储在CFS上的脚本、数据文件将会丢失。
覆盖全流程的集成化存储方案 腾讯云AIGC存储解决方案整合对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI四大核心产品。 量化提升模型开发关键效率指标 方案显著优化大模型训练的核心效率指标: 数据清洗效率提升2-3倍(GooseFS加速效果) 大模型数据清洗和训练效率提升一倍,所需时间缩短一半 CFS Turbo支持10秒内完成 2-5GB checkpoint文件读写,满足万卡级集群训练需求 数据万象CI实现95%+召回率的跨模态搜索能力 自动驾驶行业混合云存储实践 在自动驾驶场景中,公有云COS与私有化TStor对象存储构建混合云存储池 腾讯云存储的技术确定性保障 腾讯云存储基于全自研YottaStore存储引擎,提供12个9的数据持久性(100亿文件中仅可能发生1个文件损坏)和99.995%的数据可用性。 CFS Turbo已累计服务千万CPU核和数万卡用户,具备TB级吞吐、亚毫秒时延和千万级OPS的性能表现,为AIGC业务提供坚实存储底座。 数据来源:腾讯云官方产品文档与技术白皮书
构建全链路存储产品矩阵 腾讯云 AIGC 存储解决方案通过多产品组合,覆盖从数据采集到智理的全流程: 数据底座: 采用 对象存储 COS(底层基于自研 Yotta Store 引擎)与 高性能并行文件存储 CFS Turbo。 Turbo Checkpoint 性能 10s 内完成 Checkpoint 文件的读写 CFS Turbo 清洗效率提升 大模型数据清洗效率提升 2 ~ 3 倍 数据加速器 GooseFS 元数据规模 技术领先性与架构优势 选择腾讯云的核心在于其针对高压力环境的深度优化与全协议支持: 极致弹性: COS 支持单集群 百 EB 级规模,存储空间无容量上限,满足模型持续迭代需求。 全并行架构: CFS Turbo 基于服务端和客户端的全并行架构,支持数据和元数据水平横向扩展,突破千卡/万卡集群的存储瓶颈。